BOLD5000数据集：桥接人类视觉与机器学习（计算机视觉）的“巨无霸”

神经科学家和计算机视觉科学家表示，一个新的空前大的数据集将帮助研究人员更好地理解大脑是如何处理图像信息的，该数据集包括四个志愿者的脑部扫描数据，每个志愿者都能扫描5000张图像。

卡内基梅隆大学和福特汉姆大学的研究人员在 Scientific Data 杂志上发表的文章称，获取这种规模的 fMRI 扫描带来了独特的挑战。

图示   来自4个志愿者的一组新的 fMRI 扫描数据，将帮助研究人员更好地理解大脑是如何处理视觉图像的

每位志愿者都参加了20小时或更长时间的 MRI 扫描，这挑战了他们的毅力和实验者在扫描过程中的协调能力。 为了解开与视觉成像相关的神经反应秘密，在如此长的时间段内对同一个个体进行实验的极端设计策略是必要的。

由此产生的数据集，命名为BOLD5000，使认知神经科学家能够更好地利用深度学习模型，这极大地改善了人工视觉系统。 最初受人类视觉系统的启发，不断深入研究人类视觉工作的方式可以进一步改进深度学习，以及对人类视觉的研究可以更好提高现代计算机视觉方法。 为此，BOLD5000 测量了当观看来源于两个流行的计算机视觉数据集（ImageNet 和COCO）的图像时，产生的神经活动。

http://bold5000.github.io/

"脑科学和计算机科学的结合意味着科学发现可以双向流动，"共同作者、认知与脑科学教授、CMU心理学系系主任 Michael J.Tarr说。 "未来的研究可利用 BOLD5000 数据集，应该有助于神经科学家更好地理解人脑中的知识。 随着我们更多地了解视觉识别的神经基础，我们也将更好地为人工视觉的进步做出贡献。"

第一作者 Nadine Chang 是 CMU 机器人研究所的博士生，他专门研究计算机视觉。他建议计算机视觉科学家们将目光投向神经科学，以助力在快速发展的人工视觉领域的创新——这强化了这项研究的双向性质。

"计算机视觉科学家和视觉神经科学家的最终目标基本上是相同的：了解如何处理和解释视觉信息，"Chang 说。

改善计算机视觉是 BOLD5000 项目开始时的一个重要部分。 主要作者 Elissa Aminoff，曾为 CMU 心理学系的博士后，现为 Fordham 的心理学助理教授，与 Robotics Institute 的副教授 Abhinav Gupta 共同发起了这一研究。

连接生物和计算机视觉所面临的挑战之一是，大多数人类神经成像研究包括非常少的激活图像——通常为100张或更少——这些激活图像通常被简化为在中性背景下仅描绘单个对象。 相反，BOLD5000 包括 5000 多个真实世界、场景的复杂图像、单个对象和交互对象。

该小组认为 BOLD5000 只是利用现代计算机视觉模型研究生物视觉的第一步。

"坦率地说，BOLD5000 数据集仍然太小，"Tarr 表明，鉴于用于分析视觉图像的深层神经网络需要在数百万图像上训练，一个合理的 fMRI 数据集将需要至少5万个图像和更多志愿者来取得进展。 为此，研究小组希望他们生成 5000个脑部扫描数据集，为人类视觉和计算机视觉科学家之间日后更大的合作铺平道路。

到目前为止，该领域的反应是积极的。 公开可用的 BOLD5000 数据集已经下载了2500多次。

除了Chang、Tarr、Gupta 和 Aminoff 之外，研究团队还包括 John A. Pyles，他是 CMU-Pitt Bridge Center 的高级研究科学家和科学运营总监，Austin Marcus 是 Tarr 实验室的研究助理。 美国国家科学基金会， 海军研究办公室，the Alfred P. Sloan 基金会和 Okawa 信息和电信基金会赞助了这项研究。

参考文献：

1. Chang N, Pyles J A, Gupta A, et al. BOLD5000: A public fMRI dataset of 5000 images[J]. arXiv preprint arXiv:1809.01281, 2018.

2. https://bold5000.github.io/

作者信息

 

编译：Ben（brainnews创作团队成员）

校审/排版：Simon （brainnews编辑部）

前 文 阅 读